Từng là phó chủ tịch Liên đoàn Thanh niên Xã hội Quốc tế, Scholz đại diện cho khu vực Hamburg Altona trong Bundestag giữa 1998 và 2001 cũng như giữa 2002 và 2011. Từ 5 tới tháng 10 năm 2001, Scholz là Bộ trưởng Bộ Nội vụ Hamburg dưới quyền thị trưởng Ortwin Runde và từ 2002 tới 2004 ông là tổng thư ký SPD; ông từ chức chức vụ này khi thủ tướng Gerhard Schröder, đối mặt với sự bất mãn trong đảng của chính mình và bị ảnh hưởng bởi các thăm dò công khai liên tục thấp, thông báo rằng ông sẽ từ chức Chủ tịch Đảng Dân chủ Xã hội.[1]